Abdul Rahman Ayob menyertai TLDM sebagai Pegawai Kadet pada 2 Julai 1982, dan ditauliahkan sebagai Leftenan Kecil pada 13 Jun 1984.

Antara jawatan yang pernah disandangnya sepanjang perkhidmatannya termasuklah Komander Angkatan Kapal Selam, Timbalan Ketua Misi bagi Pasukan Pemerhati Antarabangsa Mindanao, Komander Kawasan Tentera Laut 2, dan Komander Armada Timur sebelum dilantik sebagai Timbalan Panglima Tentera Laut pada 2019.[3]

Abdul Rahman dilantik sebagai Panglima Tentera Laut pada 27 Januari 2023, berikutan persaraan pendahulunya Mohd Reza Mohd Sany. Beliau juga merupakan ahli kapal selam pertama yang dilantik sebagai Panglima Tentera Laut.[4]